想像一下，與其費力地雕刻一個大腦，不如直接給它一份劇本。在過去的自然語言處理時代， 領域適應 是一項艱苦的過程，涉及 遷移學習 或 PEFT（參數高效微調）我們將模型視為黏土，必須透過成千上萬個標註樣本來實際修改內部權重——這是一個計算負擔沉重的過程，並產生了如BERT般靜態且極度專化的模型版本。

GPT-3的催化作用

GPT-3的發布標誌著 GPT-3 一個 最前沿（SOTA） 里程碑。它證明了 上下文學習——即模型能直接從提示中識別模式——通常可達到甚至超越針對一般任務所進行的專門微調表現。我們已轉向 基於提示的推理，其中梯度更新的延遲與成本，被策略性地注入上下文所取代。